地球上每分每秒都在產(chǎn)生新的數(shù)據(jù)。預測顯示,到2018年,整個世界的數(shù)據(jù)總量將會達到44ZB(1ZB=10億TB)。伴隨著數(shù)據(jù)量的劇增,數(shù)據(jù)的存儲和訪問策略也開始分化。業(yè)界根據(jù)數(shù)據(jù)的訪問頻度將數(shù)據(jù)分為熱數(shù)據(jù)、溫數(shù)據(jù)和冷數(shù)據(jù)。Facebook對圖片數(shù)據(jù)訪問分析顯示,82%的訪問都集中在近三個月內(nèi)產(chǎn)生的8%的新數(shù)據(jù)上,絕大部分數(shù)據(jù)在迅速變“冷”。面對冷數(shù)據(jù)量不斷增多的趨勢,冷數(shù)據(jù)的存儲成為存儲領域的一個重要細分市場。不久前,數(shù)據(jù)中心聯(lián)盟發(fā)布《冷存儲定制化服務器白皮書》,指出了冷存儲服務器發(fā)展的四大趨勢。
白皮書認為,冷存儲是指存儲冷數(shù)據(jù)的容量大、性能要求不高、成本低廉的永久在線的存儲介質。當前,冷數(shù)據(jù)存儲已經(jīng)成為存儲領域的重要細分市場,并且呈現(xiàn)出四大發(fā)展趨勢。
第一,數(shù)據(jù)體量增速繼續(xù)加快。過去幾年,視頻、社交等數(shù)據(jù)發(fā)生了爆炸式增長,可以預計,未來這樣的增長還將繼續(xù)。
第二,冷存儲將分化出更精細的門類以及更個性化的成本和Qos控制。目前,市場對冷存儲的分類比較粗放,然而視頻、圖片、文檔、郵件、監(jiān)控、日志、社交、網(wǎng)盤等不同數(shù)據(jù)的讀寫、訪問及保留要求都有所區(qū)別,因此可對系統(tǒng)設計的性能和成本進行進一步的優(yōu)化。
第三,對冷數(shù)據(jù)進行分析和挖掘的需求不斷增長。目前,冷數(shù)據(jù)和大數(shù)據(jù)是兩個概念,承載的服務器硬件也完全不同。然而,隨著冷數(shù)據(jù)價值不斷得到認可,對其進行離線檢索和挖掘的需求也會產(chǎn)生,這就需要新的硬件和軟件構架去解決這些問題。
第四,軟件定義存儲,方便對冷數(shù)據(jù)進行復制、遷移和擴容。隨著存儲硬件成本不斷降低,把數(shù)據(jù)從低密度高功耗的舊服務器中遷移出來成為降低運營成本的有效途徑。同時,隨著冷數(shù)據(jù)種類的不斷細分,某些重要的冷數(shù)據(jù)也可能需要在多數(shù)據(jù)中心進行災備。此外,企業(yè)業(yè)務的不斷變更也可能需要數(shù)據(jù)在公有云和專有云之間進行遷移。目前的硬件和軟件對于這么大規(guī)模的遷移還缺乏有效的解決方案,未來需要進一步利用軟件定義存儲加以解決。
白皮書同時指出,當前,在冷存儲系統(tǒng)設計和應用中,存在三大問題:一、處理器/硬盤的比率。給定處理器比率越低則系統(tǒng)成本越低。然而,其副作用是一旦處理器失效,會有更多的數(shù)據(jù)不可訪問。系統(tǒng)設計者需要權衡,并采用軟件手段減少處理器失效后的不良后果。二、功耗控制。系統(tǒng)的軟硬件節(jié)能方案可能會增加硬件成本,并增大數(shù)據(jù)訪問的延遲。系統(tǒng)設計者需要在CAPEX、OPEX和SLA之間進行取舍。三、數(shù)據(jù)塊編碼方式。選用適當?shù)募m刪碼,可以對硬盤數(shù)據(jù)利用率、數(shù)據(jù)可用性及數(shù)據(jù)重構時間等多個目標進行有效的優(yōu)化。
統(tǒng)計顯示,熱數(shù)據(jù)、溫數(shù)據(jù)和冷數(shù)據(jù)占總數(shù)據(jù)量的比例約為5%、15%、80%。當前,各類數(shù)據(jù)的存儲和訪問策略正在迅速分化,數(shù)據(jù)分層趨勢加劇。一般情況下,熱數(shù)據(jù)被放到內(nèi)存或者SSD中,而冷數(shù)據(jù)被放入低轉速HDD,甚至硬盤被置于長期下電狀態(tài),也有業(yè)界廠商考慮將藍光用于冷數(shù)據(jù)。
白皮書認為,今天冷數(shù)據(jù)的應用特征正在越來越清晰。一、數(shù)據(jù)的訪問頻率很低,但是用戶仍想保留這些數(shù)據(jù);二、相應時間要求隨著應用需求的減少而逐漸降低;三、單位數(shù)據(jù)量要求的系統(tǒng)寬帶低;四、數(shù)據(jù)量巨大;五、對于特定的數(shù)據(jù)需要備份、存檔等。
值得一提的是,大數(shù)據(jù)技術的應用正在推動冷存儲的發(fā)展。白皮書指出,不同行業(yè)應用場景對于冷存儲的要求不盡相同?,F(xiàn)在企業(yè)正逐步加大對大數(shù)據(jù)的投資,來識別用戶和運營趨勢,從而獲得重要業(yè)務洞察能力。隨著大數(shù)據(jù)的快速發(fā)展,可以支持公司通過分析來自不同地方的大量信息,獲得重要見解。大數(shù)據(jù)的分析也可以運用到多個冷存儲使用情形中,比如:在備份中,如果信息被保存于本地而非場外,典型的備份工具則無法區(qū)分這些信息,通過大數(shù)據(jù)分析可以篩選出大量數(shù)據(jù),以確定哪一項目發(fā)生了變化,因而需要備份,這有助于節(jié)約時間,同時減少處理容量和帶寬。
更多詳細的相關資訊請致電“成都吉福匯”,服務熱線:400-028-4366/028-85538251